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Dieser Internationale Recherchenbericht umfaRt insgesamt _2 
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fxl Daruber hinaus liegt ihm jeweils eine Kopie der in diesem Bericht genannten Unterlagen zum Stand der Technik bei. 



1 . Bestimmte Anspriiche haben sich als nichtrecherchierbar erwiesen (siehe Feld I). 

2 EZI Mangelnde Einheitlichkeit der Erfindung(siehe Feld II). 

3. \^ In der internationalen Anmeldung ist ein Protokoll einer Nucleotid- und/oder Aminosauresequenz offenbart; die Internationale 

Recherche wurde auf der Grundlage des Sequenzprotokolls durchgefuhrt, 

I I das zusammen mit der internationalen Anmeldung eingereicht wurde. 

I I das v6m: Anmelder 'getrerint von der internationalen Anmeldung vorgelegt wurde, 

I I dem jedoch keine Erklarung beigefugt war, daB der Inhalt des Protokolls nicht uber den 

Offenbarungsgehalt der internationalen Anmeldung in der eingereichten Fassung hinausgeht. 

I I das von der Internationalen Recherchenbehorde in die ordnungsgemaBe Form Cibertragen wurde. 

4. Hinsichtlich der Bezeichnung der Erfindung 

[X~| wird der vom Anmelder eingereichte Wortlaut genehmigt. 
I I wurde der Wortlaut von der Behbrde wie folgt festgesetzt. 



Hinsichtlich der Zusammenfassung 

[X~| wird der vom Anmelder eingereichte Wortlaut genehmigt. 

I I wurde der Wortlaut nach Regel 38.2b) in der Feld III angegebenen Fassung von dieser Behorde 

festgesetzt. Der Anmelder kann der Internationalen Recherchenbehorde innerhalb eines Monats nach 
dem Datum der Absendung dieses internationalen Recherchenberichts eine Stellungnahme vorlegen. 



6. Folgende Abbildung der Zeichnungen ist mit der Zusammenfassung zu veroffentlichen: 

Abb. Nr. 1 | X | wie vom Anmelder vorgeschlagen 

I I weil der Anmelder selbst keine Abbildung vorgeschlagen hat. 
I I weil diese Abbildung die Erfindung besser kennzeichnet. 



I I keine der Abb. 



Formblatt PCT/ISA/210 (Blatt 1) (Juli 1992) 



is Page Blank (uspto) 



IHKMeEBLANKlBvnn 



PCX 




WELTORGA^fISATION FOR GEISTIGES EIGENTUM 
Internationales Buro 

INTERNATIONALE ANMELDUNG VEROFFENTLICHT NACH DEM VERTRAG tJBER DIE 
INTERNATIONALE ZUSAMMENARBEIT AUF DEM GEBIET DES PATENTWESENS (PCT) 



(SI) Internationale Patentklassifikation ^ : 
G06F 17/30 



Al 



(11) Internationale Veroffentlichungsniunmer: WO 99/05611 

4. Februar 1999 (04.02.99) 



(43) Internationales 

Veroffentlichungsdatum 



(21) Internationales Aktenzeichen: 

(22) Internationales Anmeldedatum: 



PCT/DE98/01254 
5. Mai 1998 (05.05.98) 



(30) Prioritatsdaten: 

197 31 719.7 



23. Juli 1997 (23.07.97) 



DE 



(71) Anmelder (fur alle Bestimmungsstaaten ausser US)i SIEMENS 

AKTIENGESELLSCHAFT [DE/DE]; Wittelsbacherplatz 2, 
D-80333 Munchen (DE), 

(72) Erfinder; und 

(75) Erfinder/Anmelder (nur fiir US): KAUP, Andr6 [DE/DE]; 
Brotmannstrasse 25, D-85635 Hohcnkirchen (DE). 



(81) Bestimmungsstaaten: CN, JP. KR, US. europaisches Patent 
(AT, BE, CH. CY. DE, DK, ES, FI, FR, GB, OR. IE. IT, 
LU, MC, NL, PT, SE). 



VerofTentlicht 

Mit internationalem RecherchenherichL 



(54) TiUe: METHOD FOR STORING SEARCH CHARACTERISTICS PERTAINING TO AN IMAGE SEQUENCE 
(54) Bezeichnung: VERFAHREN ZUM ABSPEICHERN VON SUCHMERKMALEN FINER BILDSEQUENZ 



(57) Abstract 

In order to access an image sequence comprising individual search 
characteristics, search characteristics are stored correspondingly in an image 
sequence. A list comprising preferably plaintext search characteristics 
pertaining to an image sequence is thus prefixed, and stored behind the 
image sequence or inside the image sequence. Each search characteristic 
comprises a reference to an image inside the image sequence in addition to 
an information entry. Access is ensured via individual search characteristics. 

(57) Zusanunenfassung 

Zum Zugriff auf eine Bildsequenz, die einzebie Suchmerkmale um- 
faBt, werden diese Suchmerkmale entsprechend in der Bildsequenz abge- 
speichert. Dazu wird eine Liste aus vorzugsweise im Klartext vorliegenden 
Suchmerkmalen der Bildsequenz vorangestellt, hinter der Bildsequenz oder 
innerhalb der Bildsequenz abgespeichert. Jedes Suchmerkmal umfaBt neben 
einem Informationseintrag einen Verweis auf ein Bild innerhalb der Bild- 
sequenz. Ein Zugriff wird tiber die einzelnen Suchmerkmale gewahrleistet. 
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Beschreibung 



Verfahren zxm Abspeichern von SuchmerJonalen einer Bildsequenz 



5 Die Erfindung betrifft ein Verfahren zum Abspeichern von 
Suchmerkmalen einer Bildsequenz und einen Zugriff auf die 
Bildsequenz anhand der Suchmerkmale . 

Vielfaltige audiovisuelle Information (Bildsequenzen) wird 
10 heute in digitalisierter Form an verschiedenen Orten 

gespeichert. Um diese audiovisuelle Information zu nutzen, 
ist es notig, die interessierenden Daten zunachst einmal 
auf zuf inden . 

15 Die MPEG-Standards zur Bildkompression sind dem Fachmann 
hinlanglich bekannt . 

Zunachst wird auf die Bedeutung spezieller verwendeter 
Begriffe hingewiesen, Eine Bildsequenz kennzeichnet eine 
20 Reihe zusammenhangender Bilder. Eine Bildszene ist eine echte 
Teilmenge einer Bildsequenz und wird durch ein in MPEG- bzw. 
ITU-Standards definiertes Intrabild eingeleitet . 

Die Auf gabe der Erfindung besteht darin, ein Verfahren zum 
25 Abspeichern von Suchmerkmalen einer Bildsequenz/Bildszene 

anzugeben und einen Zugriff auf diese Bildsequenz/Bildszene 
liber diese Suchmerkmale zu ermoglichen. 

Diese Aufgabe wird gemaS den Merkmalen des Patentanspruchs 1 
30 gelost . 



einer Bildsequenz und einen Zugriff auf die Bildsequenz 
anhand der Suchmerkmale, wobei die Suchmerkmale aus der 
3 5 Bildsequenz ermittelt werden. Die Suchmerkmale werden 
gemeinsam mit der Bildsequenz abgespeichert . Auf die 



Das Verfahren ermoglicht ein Abspeichern von Suchmerkmalen 
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Bildsequenz wird zugegriffen, falls in den Suchmerkmalen ei 
vorgegebene Information enthalten ist . 

Eine Weiterbildung der Erfindung besteht darin, dafi die 
5 Suchmerkmale Audiodaten und/oder Videodaten der Bildsequenz 
sind . 



Eine andere Weiterbildung besteht darin, daJS mittels der 
Suchmerkmale, die ihrerseits wiederum einen Verweis (Zeiger) 
10 enthalten, ein Zugriff auf ein Bild innerhalb der Bildsequen 
moglich wird. 

Der Zugriff kann dadurch erfolgen, daS der Verweis einen 
zeitlichen Offset innerhalb der Bildsequenz enthalt und 
15 dadurch das Bild ref erenziert . Damit ist der Zugriff auf das 
Bild gewahrleistet . Der Verweis adressiert also das Bild und 
damit einen Beginn innerhalb der Bildsequenz. 



In einer nachsten Weiterbildung ist es moglich, Suchmerkmale 
20 der Bildsequenz voranzustellen, einem Ende der Bildsequenz 

anzuhangen oder innerhalb der Bildsequenz abzuspeichern . Dies 
geschieht vorzugsweise mit Hilfe eines im MPEG- bzw. ITU- 
Standards definierten Intrabildes, das eine Bildszene 
einleitet und dem die Suchmerkmale vorangestellt werden 
25 konnen. Dabei konnen mehrere Bildszenen mit jeweils einem 
Intrabild innerhalb der Bildsequenz enthalten sein. 



Eine andere Weiterbildung besteht darin, jede einzelne 
Bildszene in einer Datenbank abzuspeichern und somit den 
30 Zugriff auf die Bildszene zu gewahrleisten . 

Eine zusatzliche Weiterbildung besteht darin, fur einzelne 
nach dem MPEG- bzw. ITU-Standards definierte Objekte 
innerhalb der Bildsequenz jeweils eigene Suchmerkmale in der 
3 5 Bildsequenz abzuspeichern. Dadurch ist es moglich, auch auf 
solche Objekte bezogene, mit den Suchmerkmalen verknupfte 
Einsprungstellen anzubieten. 
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Auch ist es eine Weiterbildung, die Suchmerkmale durch einen 
vorgegebenen Startcode (Header) elndeutig zu identif izieren . 

5 Da die Suchmerkmale zusammen mit der Bildsequenz 

abgespeichert werden, kann eine umfangreiche Bilddatenbank 
aus einzelnen solcher Bildsequenzen zusammengestellt werden. 
Eine globale, vorzugsweise externe, Verweisliste hingegen, 
die Suchmerkmale und entsprechende Verweise auf die 
10 Bildsequenz enthalt, erschwert einen modularen Aufbau der 

Bildsequenz (vor allem wenn diese aus mehreren Bildsequenzen 
besteht, die wiederum einzeln in andere Datenbanken 
exportiert werden sollen) . 

15 Weiterbildungen der Erfindung ergeben sich auch aus den 
abhangigen Anspriichen. 

Anhand der Figuren werden Ausf uhrungsbeispiele der Erfindung 
naher dargestellt . 

20 

Es zeigen 

Fig.l ein Blockdiagramm, das ein Verfahren zum Abspeichern 
von Suchmerkmalen einer Bildsequenz und einen Zugriff 
auf die Bildsequenz anhand der Suchmerkmale 
25 darstellt. 

Fig. 2 unterschiedliche Moglichkeiten fiir die gemeinsame 
Speicherung der Suchmerkmale mit der Bildsequenz, 

Fig. 3 eine Skizze, die Suchmerkmale und dazugehorige 
Verweise, die Bilddaten deref erenzieren, zeigt . 

30 

In Schritt la der Fia.l werden Suchmerkmale aus der 
Bildsequenz bestimmt. Dazu werden Bilder gesucht, die einem 
gegebenen Musterbild ganz oder in Teilen entsprechen. Dies 
wird dadurch erreicht, daS das Musterbild zunachst auf 
3 5 vorgegebene Merkmale, insbesondere die vorherrschende Farbe 
Oder typische auftretende Formen, analysiert wird. Diese 
Merkmale werden in einer Datenbank abgespeichert und mit 
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einem Zeiger auf das zu ref erenzierende Bildmaterial , also 
das gefundene Musterbild innerhalb der Bildsequenz, 
ref erenziert . Die Suchmerkmale werden gemeinsam mit der 
Bildsequenz in einem Schritt lb abgespeichert . SchlieSlich 
5 wird der Zugriff auf die Bildsequenz anhand der Suchmerkmale 
in einem Schritt Ic moglich, indem ein vorgebbares Merkmal 
mit den Suchmerkmalen verglichen und, falls eine 
Ubereinstimmung gefunden vmrde, zu der Bildsequenz innerhalb 
der Bildsequenz, die durch das Suchmerkmale ref erenziert 
10 wird, gesprungen wird. 

Hierbei sei darauf hingewiesen, dafi nicht ausschliefilich die 
Videodaten ref erenziert werden konnen, sondern genauso Zeiger 
auf Audiodaten abgespeichert werden konnen. 

15 

In Fig. 2 sind verschiedene Moglichkeiten gezeigt, die 
Suchmerkmale gemeinsam mit der Bildsequenz abzuspeichern . 

In Fig, 2^ ist eine Bildsequenz GOP (Group of Pictures, wie in 
20 MPEG- Standards definiert) , die einen Header H und 

Bildinf ormation BE enthalt, dargestellt. Fur alle Figuren 2a 
bis 2b gilt eine Zeitachse t, die vertikal von oben nach 
unten verlauft. Dadurch wird angedeutet, daS es sich um den 
zeitlichen Verlauf einer Bildfolge handelt, die als 
25 Bildsequenz abgespeichert ist. 

In Fig. 2a sind Suchmerkmale M der Bildsequenz GOP 
vorangestellt . Die Suchmerkmale M werden vorzugsweise in 
leicht lesbarer Form als eine Liste im Klartext (ASCII-Code) 

3 0 abgespeichert. Lange Listen mit Suchmerkmalen konnen 

zusatzlich komprimiert abgespeichert werden. Mit jedem 
einzelnen Suchmerkmal verbunden ist ein Zeiger PTR auf ein 
Bild innerhalb der Bildsequenz, wobei dieses Bild den Beginn 
einer Bildfolge, die mit dem Suchmerkmal verknupft ist, 

35 innerhalb der Bildsequenz angibt . 
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5 



In den Figuren 2a bis 2d sind solche Verweise (Zeiger) als 
Pfeile PTR dargestellt . 



In Fig, 2b sind die Suchmerkmale M der Bildsequenz GOP 
5 nachgestellt. Ansonsten gilt das Gleiche wie bei Fig. 2a. 

Die Suchmerkmale M konnen, wie in Fig. 2c dargestellt, 
innerhalb einer Bildsequenz GOP abgespeichert sein. 
Entsprechend mussen mit den Suchmerkmalen M verknupfte 
10 Verweise PTR auf Bildinf ormation vor (in Fig. 2c oberhalb der 
Suchmerkmale M) oder auf Bildinf ormation zeitlich nach den 
Suchmerkmalen M (in Fig. 2c unterhalb der Suchmerkmale M) 
verweisen . 

15 SchlieSlich wird in Fig. 2d die nach dem MPEG- bzw. ITU- 
Standards mogliche Codierung einzelner Objekte (Audioob j ekte 
und/oder Videoobjekte) dargestellt. Dazu werden zu jedem 
Objekt Ol und 02 eigene Suchmerkmalssatze M31 und M3 2 
erganzt. Es kann eine audiovisuelle Szene mehrere 

2 0 Suchmerkmalssatze Ml, M2 , M31 und M32, enthalten. 

In Fig. 2d beziehen sich die Suchmerkmalssatze Ml und M2 auf 
Bilddaten BD allgemein, wahrend die Suchmerkmalssatze M31 und 
M32 jeweils Suchmerkmale enthalten, deren Eintrage (Verweise) 
25 jeweils innerhalb der nach Objekten Ol und 02 getrennten 
Bildfolgen auf entsprechende zu ref erenzierende Stellen 
verweisen . 

Eine Organisation einer Liste von Suchmerkmalen und deren 
30 Beziehung zu den Bilddaten BD ist in Fig. 3 dargestellt. Es 

gilt wieder der vertikale Verlauf einer Zeitachse t von oben 
nach unten. Die Suchmerkmale M sind in Form einer Liste der 
Bildsequenz GOP, die den Header H und die Bilddaten BD 
enthalt, vorangestellt . Die Liste enthalt mehrere 
35 Suchmerkmale SMI und SM2 . Jedes Suchmerkmal umfaSt jeweils 
eine beschreibende Komponente INFOl und INF02 und jeweils 
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einen Verweis (Zeiger, engl . : pointer) PTRl und PTR2 auf ein 
Bild innerhalb der Bilddaten BD, 

Wie oben erwahnt, kann fur eine nach dem MPEG-Standard 
komprimierte Bildsequenz die Liste logisch unterteilt sein, 
so daB sich bestimmte Suchmerkmale SMj_ auf vorgebbare Objekte 
innerhalb der nach dem MPEG-Standard komprimierten 
Bildsequenz ergeben. Vorzugsweise ist fur die Unterscheidung 
zweier Objekte jedes zweite Suchmerkmal SM2i einem ersten 
Objekt und das andere Suchmerkmal SM(2i+i) einem zweiten 
Objekt zugeordnet (1=0,1,2,3,...). Entsprechend konnen fur 
mehrere Objekte innerhalb der gleichen Bildsequenz 
unterschiedliche Suchmerkmalssatze angelegt werden . 
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Patentanspruche 



1 . 

5 



10 2 . 



3 . 

15 



4 . 

20 

5 , 

25 

6 . 

30 

7 . 



35 



Verfahren zum Abspeichern von Suchmerkmalen einer 
Bildsequenz , 

a) bei dem die Suchmerkmale aus der Bildsequenz bestimmt 
we r den, 

b) bei dem die Suchmerkmale gemeinsam mit der Bildsequenz 
abgespeichert werden, 

Verfahren nach Anspruch 1, 

bei dem die Suchmerkmale Audiodaten und/oder Videodaten 
der Bildsequenz sind. 

Verfahren nach Anspruch 1 oder 2, 

bei dem fiir einen gezielten Zugriff innerhalb der 
Bildsequenz die Suchmerkmale einen Verweis auf ein Bild 
innerhalb der Bildsequenz enthalten. 

Verfahren nach einem der Anspruche 1 bis 3 , 

bei dem die Suchmerkmale der Bildsequenz vorangestellt 

werden . 

Verfahren nach einem der Anspruche 1 bis 3, 

bei dem die Suchmerkmale an die Bildsequenz angehangt 

werden . 

Verfahren nach einem der Anspruche 1 bis 3, 

bei dem die Suchmerkmale in der Bildsequenz abgespeichert 
werden. 

Verfahren nach Anspruch 6 , 

bei dem einem nach dem MPEG-Standard definierten 
Intrabild die Suchmerkmale fiir eine durch das Intrabild 
eingeleitete Bildszene vorangestellt werden. 
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8 . Verf ahren nach Anspruch 7 , 

bei dem jede Bildszene in einer Datenbank abgespeichert 
wird. 

9. Verf ahren nach einem der vorhergehenden Anspriiche, 
bei dem fur mehrere Objekte, die nach Bildcodierungs- 
Standards in der Bildsequenz enthalten sind, jeweils 
eigene Suchmerkmale fur die mehreren Objekte. mit der 
Bildsequenz abgespeichert werden. 



10. Verf ahren nach einem der vorhergehenden Anspriiche, 
bei dem die Suchmerkmale durch einen vorgebbaren 
Startcode (HEADER) eindeutig identif izierbar sind. 
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FIG 2a FIG 2b 
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Recherchierie aber nicht zum Mindestprufstotlgehbrende Veroffenttichungen, sowett diese unter die recherchierten Gebiete fallen 



Wahrend der internatjonaien Recherche konsuitierteelektronische Datenbank (Name der Datenbank und evtl. verwendete Suchbegriffe) 



C. ALS WESENT1.ICH ANGESEHENE UNTERLAGEN 



Kaiegorie^ Bezeichnung der VeroffentUchung, soweit erforderlich unter Angabe der in Betracht kommenden Telle 



Betr. Anspruch Nr. 



SULLOW K: "AMPHORE - EIN ARBEITSPLATZ ZUR 

FILMDOKUMENTATION" 

NACHRICHTEN FUR DOKUMENTATION , 

Bd. 47, Nr. 2, Marz 1996, Seiten 67-74, 

XP000615361 

siehe Seite 68, Absatz 2 - Seite 71, 
Absatz 3 

EP 0 780 777 A (HEWLETT PACKARD CO) 

25. Juni 1997 

siehe Zusammenfassung 

US 5 600 775 A (KING PHILIP S ET AL) 
4. Februar 1997 
siehe Zusammenfassung 



1-9 



1-3 



1-3 



□ 



Weitere Verbffentlichungen sind der Fortsetzung von Feld C 2u 
entnehmen 



Siehe Anhang Patenttamilie 



Besondere Kategorien von angegebenen Verottentlichungen 
"A" Verbftentlichung, die den aligemeinen Stand der Technik definlert, 
aber nicht als besonders bedeutsannanzusehen ist 

"E" alteres Dokument. das jedoch erst am Oder nach dem internationaten 
Anmeldedatum veroftentiicht worden Ist 

"L" Verbtfentlichung, diegeeignet ist. einen Priorrtatsanspruch zweifelhatt er- 
scheinen zu lassen, Oder durch die das Verottentlichungsdatum einer 
anderen im Recherchenbericht genannten Verbftentlichung belegt werden 
soil Oder did aus einem anderen besonderen Grund angegeben ist (wie 
ausgefuhrt) 

"O" Verbtfentlichung, die sich auf eine mOndliche Offenbarung. 

eine Benutzung, eine AussteMung Oder andere MaBnahmen bezleht 
"P" Verbftentlichung, die vor dem tntemationalen Anmeldedatum, aber nach 

dem beanspruchten Phoritatsdatum veroftentiicht worden ist 



"T" Spatere Verbftentlichung, die nach deminternalionalen Anmeldedatum 
Oder dem Prioritatsdatum veroftentiicht worden ist und mtt der 
Anmeldung nicht koliidiert. sondern nur zum Verstandnis des der 
Erfindung zugrundeliegenden Prinzips Oder der ihr zugrundeliegenden 
Theorle angegeben ist 

"X" Verbtfenttichung von besonderer Bedeutung; die beanspruchte Erfindung 
kann allein autgrund dieser Verbtfentlichung nicht als neu Oder auf 
erf inderischer Tatigkeit beruhend betrachtet werden 

"Y" Verbtfentlichung von besonderer Bedeutung; die beanspruchte Erfindung 
kann nicht als auf ertinderischer Tatigkeit beruhend betrachtet 
werden, wenn die Verbtfentlichung mit einer Oder mehreren anderen 
Verbffentlichungen dieser Kategorie in Verbindung gebracht wird und 
diese Verbindung tiir einen Fachmann naheliegend ist 

"&•' Verbftentlichung, die Mitglied derselbenPatentfamiiie ist 



Datum des Abschtusses der internationaten Recherche 



19. Oktober 1998 



Absendedatum des internationaten Recherchenberichts 



26/10/1998 



Name und Postanschrift der tntemationalen Recherchenbehbrde 
Europalsches Patentamt. P. B. 5818 Patenttaan 2 
NL - 2280 HV Rijswijk 
Tel. (+31-70) 340-2040. Tx. 31 651 epo nl. 
Fax: (+31-70) 340-3016 



Sevollmachtigter Bediensteter 



Katerbau, R 



Formblatt PCT/ISA/210 (Blatt 2) (Juli 1992) 



INTERNATIONALER 



CHERCHENBERICHT 



Angaben zu Veroffentlichunyen. aie zur selben Patentfamiiie gehoren 



(me onales Aktenzeichen 

PCT/DE 98/01254 



im Recherchenbericht 
angefuhrtes Patentdokument 



Datum der 
Verdffentlichung 



Mitgiied(er) der 
Patentfamilie 



EP 0780777 



□atum der 
VeroWentlichung 



25-06-1997 



US 
JP 



5794249 A 
9185879 A 



11-08-1998 
15-07-1997 



US 5600775 



04-02-1997 



KEINE 



Formblatt PCT/ISA/210 {Anhang PaienttamilieXJuli 1992) 



ATENT COOPERATION TREATY 



EO/US 
PCT/DE98/0ii254 



PCT --^-^'^ 

NOTIFICATION OF ELECTION 
(PCT Rule 61.2) 


United States Patent and Trademark 

Office 

(Box PCT) 

Crystal Plaza 2 

Washington, DC 20231 

ETATS-UNIS D'AMERIQUE 

in its capacity as elected Office 


Date of mailing: 

04 February 1999 (04.02.99) 




International application No.: 

PCT/DE98/01254 


Applicant's or agent's file reference: 
GR97P1961 P 


International filing date: 

05 May 1998 (05.05.98) 


Priority date: 

23 July 1997 (23.07.97) 


Applicant: 

KAUP, Andre 



1. The designated Office is hereby notified of its election made: 

I X I in the demand filed with the International preliminary Examining Authority on: 

23 November 1998 (23.11.98) 



I I in a notice effecting later election filed with the International Bureau on: 



2. The election | X | was 

□ 



was not 



made before the expiration of 19 months from the priority date or, where Rule 32 applies, within the time limit under 
Rule 32.2(b). 





Authorized officer: 




The International Bureau of WlPO 




34, chennin des Colombettes 






1211 Geneva 20, Switzerland 


J. Zahra 




Facsimile No.: (41-22) 740.14.35 


Telephone No.: (41-22)338.83.38 




Form PCT/IB/331 (July 1992) 




2446652 
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PATENT COOPERATION TREATY 

PCT 

INTERNATIONAL PRELIMINARY EXAMINATION REPORT 

(PCT Article 36 and Rule 70) 



09/463271 



Applicant's or agent's file reference 
GR97P 1961 P 


Fnn F-iiRXHirij A#-TfOM Notification of Transmittal of International 
ruK r UKi tiiLK A<^i iui\ Preliminary Examination Report (Form PCT/IPEA/416) 


International application No. 

PCT/DE98/01254 


International filing date {day/month/year) 
05 May 1998 (05,05.1998) 


Priority date (day/month/year) 

23 July 1997 (23.07.1997) 


International Patent Classification (IPC) or national classification and IPC 
G06F 17/30 


Applicant 

SIEMENS AKTIENGESELLSCHAFT 



This international preliminary examination report has been prepared by this International Preliminary Examining 
Authority and is transmitted to the applicant according to Article 36. 



This REPORT consists of a total of 



, sheets, including this cover sheet. 



I I This report is also accompanied by ANNEXES, i.e., sheets of the description, claims and/or drawings which have 
" — ' been amended and are the basis for this report and/or sheets containing rectifications made before this Authority 
(see Rule 70.16 and Section 607 of the Administrative Instructions under the PCT). 



These annexes consist of a total of 



sheets. 



This report contains indications relating to the following items: 
Basis of the report 
Priority 

Non-establishment of opinion with regard to novelty, inventive step and industrial applicability 
Lack of unity of invention 

Reasoned statement under Article 35(2) with regard to novelty, inventive step or industrial applicability; 
citations and explanations supporting such statement 

Certain documents cited 

Certain defects in the international application 

Certain observations on the international application 



11 


□ 


III 


□ 


IV 


□ 


V 




VI 


□ 


VII 




VIII 


□ 



Date of submission of the demand 

23 November 1998 (23.11.1998) 


Date of completion of this report 

25 October 1999 (25.10.1999) 


Name and mailing address of the IPEA/EP 
European Patent Office 
D-80298 Munich, Germany 

Facsimile No. 49-89-2399-4465 


Authorized officer 
Telephone No. 49-89-2399-0 



Form PCT/IPEA/409 (cover sheet) (January 1994) 
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International application No. 


INTERNATIONAL PRELIMINARY EXAMINATION REPORT 


PCT/DE98/01254 


I. Basis of the report 


1 . This report has been drawn on the basis oi {Replacement sheets which have been furnished to the receiving Office in response to an invitation 
umier Article 14 are referred to in this report as "originally fled" and are not annexed to the report since they do not contain amendments.): 


\ \ th*» i TitpmsitinTiJ*! nnr*I ipntinn ac rtrioirtnllv fil^H 
1 1 Lllv unci llallUllal a^j^Jll^tXllKjll do VJI Iglllaliy lllCU. 






[VJ the description, pages 


, as originally filed. 




pages 


, filed with the demand. 




pages 


, filed with the letter of - 




pages 


, filed with the letter of - 




fv] the claims, Nos. I'l^ 


, as originally filed, 




Nos. 


, as amended under Article 19, 


Nos. 


, filed with the demand, 




Nos. 


, filed with the letter of 




Nos. 


, filed with the letter of 




[y] the drawings, sheets/fig " 3/3 


, as originally filed, 




sheets/fig 


, filed with the demand. 




sheets/fig 


, filed with the letter of 




sheets/fig 


, filed with the letter of 




2. The amendments have resulted in the cancellation of: 






[ 1 the description, pages 






the claims, Nos. 






1 J the drawings, sheets/fig 






2 1 1 This report has been established as if (some of) the amendments had not been made, since they have been considered 
' — ' to go beyond the disclosure as filed, as indicated in the Supplemental Box (Rule 70.2(c)). 


4. Additional observations, if necessary: 
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itemational application No. 
PCT/DE 98/01254 



V. Reasoned statement under Article 35(2) with regard to novelty, inventive step or industrial applicability; 
citations and explanations supporting such statement 



Statement 
Novelty (N) 

Inventive step (IS) 
Industrial applicability (lA) 



Claims 
Claims 

Claims 
Claims 

Claims 
Claims 



1-10 



1-10 



1-10 



YES 
NO 
YES 
NO 

YES 
NO 



2. Citations and explanations 

The following documents are referred to: 



Dl: SULLOW K: ^^AMPHORE - EIN ARBEITSPLATZ ZUR 
FILMDOKUMENTATION" , NACHRICHTEN FUR DOKUMENTATION (1996) 
47 (2) : 67-74 

D2: BORN G: REFERENZHANDBUCH FUR DAT EI FORMATE" , ADDISON- 
WESLEY, 2^"^ edition, 1992, pages 518-59 

D2, which is known to the examiner, was introduced in 
accordance with POT Article 33(6). 



1 The subject matter of independent Claim 1 and of 
Claims 2-10, which are dependent on it, does not 
involve an inventive step over the prior art and 
therefore fails to meet the requirements of PCT 
Article 33 (3) . 

2 Dl, which is considered the closest prior art, 
discloses a process for storing search 
characteristics (Dl, abstract; page 68, middle, 
lines 7-21; page 70, middle, lines 4-51) of an image 
sequence (D2, page 69, middle, lines 36-53, 
JPEG/MPEG) , wherein the search characteristics are 
determined from the image sequence (Dl, section 2, 
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page 68, middle - page 69, middle) 



2.1 The subject matter of Claim 1 differs from the prior 
art only in that the search characteristics are 
stored together with the image sequence, in contrast 
to the process described in Dl (Dl, page 70, right, 
lines 41-50) . 



2.2 However, this section of Dl suggests to a person 
skilled in the art that common storage might be 
necessary for procedural or technical reasons. 



2.3 In particular, the logical unity of image sequence 
and search characteristics is emphasized (Dl, page 
69, middle, lines 36-40) , which would naturally 
suggest to a person skilled in the art the physical 
unity of common storage. 



2.4 Finally, common storage of data sequences and their 
associated search characteristics appears 
fundamentally to be an obvious option for a person 
skilled in the art which, for example, has been 
anticipated by directory structures in tape 
memories . 



2.5 Thus, proceeding from Dl, a person skilled in the ^ 
art would arrive at the subject matter of Claim 1 
without inventive input. 

3 The additional feature as per Claim 2 , that the 
search characteristics may include both audio and 
video data, is disclosed by Dl (Dl, page 67, left, 
lines 1-7; page 70, middle, lines 35-8) . 

4 The logical connection between search 
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characteristics and images is clear and is disclosed 
by Dl (Dl, page 69, middle, lines 36-40) . The use 
of references (pointers) as per Claim 3 to implement 
this connection is obvious to a person skilled in 
the art. Moreover, concrete graphics formats are 
known in image processing (D2, pages 519 ff, GIF; 
pages 525 ff, TIFF) wherein pointer structures are 
used to connect i-mage material to associated 
information (via image file directories, IFD) (D2, 
page 526, lines 7-18; Figures 4.33 and 4.36; page 
549, FreeOffsets Tag) . Obviously, the content of 
IFDs can naturally be interpreted and used as a 
collection of search characteristics for image 
material . 

5 In light of the flexible pointer structures already 
described, it is obvious to a person skilled in the 
art that any relative arrangement of image material 
and search characteristics is equally possible and 
does not impair the specific accessing of images as 
per Claim 3. Therefore, Claims 4-6 contain only 
variants of Claims 1-3 obvious to a person skilled 
in the art. 

6 Use of the process described in Dl with respect to 
MPEG image sequences according to Claim 7 is known 
(D2, page 69, middle, lines 36-40, JPEG/MPEG). The 
selection of an intraframe for search characteristic 
localization in an MPEG sequence (likewise according 
to Claim 7) represents not only one of many obvious 
possible choices but also one which, owing to the 
distinctive position of intraframes in the MPEG 
format, a person skilled in the art would 
necessarily prefer. 
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Storage of image material in a databank as per Claim 
8 is disclosed by Dl (page 68, lines 12-13) . 

The additional feature provided by Claim 9 compared 
with the preceding claims is that the search 
characteristics may be referred directly to relevant 
image components (or "^objects") as well as to entire 
images. However/ this appears to be an obvious use 
of pointers which would invariably suggest itself to 
a person skilled in the art if the indicated image 
components had a particular significance in the 
given application. 



The use of header data to identify or more precisely 
determine subsequent data blocks of any type is a 
routine step (see e.g. D2, page 526, lines 7-9, and 
Figure 4.33). Therefore, the subject matter of 
Claim 10 does not involve an inventive step. 
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VII, Certain defects in the international application 

The following defects in the form or contents of the international application have been noted: 

1 Pursuant to PCX Rule 5.1(a) (ii), the application 
should acknowledge Dl as the closest prior art. 

2 Pursuant to PCT Rule 6.3(b), the independent claims 
should be drafted in two-part form. Pursuant to 
PCT Rule 6.2(b), the claims should contain 
reference signs placed between parentheses. 
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09/463271 ^ 

VERTRAG USER DIE INTERNATIONALE ZUSAMMENARBEIT AUF DEM / 

GEBIET DES PATENTWESENS 4 

PCT 

INTERNATIONALER VORLAUFIGER PRUFUN 

(Artikel 36 und Regel 70 PCT) 




Aktenzeichen des Anmelders oder Anwalts 
GR 97 P 1961 P 


slehe MItteilung ut>er die Ubersendung des Internationale n 
WEITERES VORGEHEN vorlauftgen Priifungsbericht (Formblatt PCT/lPEA/41 6) 


Internationales Aktenzeichen 
PCT/DE98/01254 


Internationales Anmeldedatum^rag/Monat/Ja/rr^ 
05/05/1998 


Prioritatsdatum (Tag/MonaVTag) 
23/07/1997 



Internationale Patentklassification (IPK) oder nationale Klassifikatlon und IPK 
G06F17/30 



Anmelder 

SIEMENS AKTIENGESELLSCHAFT et al. 



1 . Dieser Internationale voriauf ige Prufungsbericht wurde von der mit der internationaie vorlaufigen Prufung beauftragte 
Behdrde ersteitt und wird dem Anmelder gema3 Artikel 36 ubermittelt. 



2. Dieser BERICHT umfa3t Insgesannt 6 Blatter einschlieBlich dieses Deckblatts. 



□ AuQerdem liegen dem Bericht ANLAGEN bei; dabei handelt es sich um Blatter mit Beschreibungen, Anspruchen 
und/oder Zeichnungen, die geandert wurden und diesem Bericht zugrunde liegen, und/oder Blatter mit vor dieser 
Behorde vorgenommenen Berichtigungen (slehe Regel 70.16 und Abschnitt 607 der Venwattungsrichtlinien zum PCT). 



Diese Aniagen umtassen insgesamt Blatter. 



3. Dieser Bericht enthalt Angaben zu folgenden Punkten: 

I S Grundlage des Berichts 

II □ Prioritat 

III □ Keine Erstellung eines Gutachtens uber Neuheit, erfinderische Tatlgkeit und gewerbliche Anwendbarkeit 

IV □ Mangelnde Einheitlichkeit der Erfindung 

V S Begrundete Feststellung nach Artikel 35(2) hinsichtlich der Neuheit, der erfinderische Tatigkeit und der 

gewerbliche Anwendbarkeit; Unterlagen und Erklarungen zur Stutzung dieser Feststellung 

VI □ Bestimmte angefuhrte Unterlagen 

VII S Bestimmte Mangel der internationalen Anmeldung 

VIII □ Bestimmte Bemerkungen zur internationalen Anmeldung 



Datum der Einretchung des Antrags 
23/11/1998 


Datum der Fertigstellung dieses Berichts 

25. ia99 


Name und Postanschrift der mit der internationalen vorlaufigen 
Prufung beauftragten Behorde; 

Europaisches Patentamt 

/5S) D-80298 Munchen 

eg/' Tel. +49 89 2399 - 0 Tx: 523656 epmu d 
Fax: +49 89 2399 - 4465 


Bevollmachtigter Bediensteter ^^^^jjjSS^ijjs^ 
Mulier. M (l l) 

Tel. Nr. +49 89 2399 7409 ^.^^^S-^ 
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INTERNATIONALER VORLAUFIGER 

PRUFUNGSBERICHT Internationales Aktenzeichen PCT/DE98/01 254 



I. Grundlage des Berichts 

1 . Dieser Bericht wurde erstellt auf der Grundlage {Ersatzblatter, die dem Anmeldeamt auf eine Aufforderung nach 
Artikel 14 hin vorgelegt warden, gelten im Rahmen dieses Berichts als "ursprur^glich eingereicht" und sir)d ihm 
nicht beigefugt, weil sie keine Anderungen enthalten.): 

Beschreibung, Seiten: 

1-6 ursprungliche Fassung 



Patentanspruche, Nr.: 

1-10 ursprungliche Fassung 

Zeichnungen, Blatter: 

1/3-3/3 ursprungliche Fassung 



2. Aufgrund der Anderungen sind tolgende Unterlagen fortgefallen: 

□ Beschreibung, Seiten: 

□ Anspruche, Nr.: 

□ Zeichnungen, Blatt: 

3. □ Dieser Bericht ist ohne Berucksichtigung (von einigen) der Anderungen erstellt worden, da diese aus den 

angegebenen Grunden nach Auffassung der Behorde uber den Offenbarungsgehalt in der ursprunglich 
eingereichten Fassung hinausgehen (Regel 70.2(c)): 



4. Etwaige zusatzliche Bemerkungen: 



V. Begrundete Feststellung nach Artikel 35(2) hinsichtlich der Neuheit, der erflnderischen Tatigkeit und der 
gewerblichen Anwendbarkeit; Unterlagen und Erklarungen zur Stiitzung dieser Feststellung 



1. Feststellung 
Neuheit (N) 

Erfinderische Tatigkeit (ET) 
Gewerbliche Anwendbarkeit (GA) 



Ja: Anspruche 1-10 
Nein: Anspruche 

Ja: Anspruche 

Nein: Anspruche 1-10 

Ja: Anspruche 1-10 
Nein: Anspruche 
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2. Unteriagen und Erklarungen 
siehe Beiblatt 

VII. Bestimmte Mangel der internatlonalen Anmetdung 

Es wurde festgestellt, daB die intematlonale Anmeldung nach Form oder Inhalt folgende Mangel aufweist: 
siehe Beiblatt 
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Referenzen: 

In diesem Bescheid werden folgende Dokumente genannt. 

D1 : SULLOW K: "AMPHORE - BIN ARBEITSPLATZ ZUR FILMDOKUMENTATION" 
NACHRICHTEN FUR DOKUMENTATION, Bd. 47, Nr. 2, Marz 1996, Seiten 67-74 

D2: BORN G: "REFERENZHANDBUCH FUR DATEIFORMATE" ADDISON-WESLEY, 
2. Auflage. 1992, Seiten 518-559 

Das dem Prufer bekannte Dokument D2 wurde gemaR Artikel 33 (6) PCT eingefuhrt. 

V: Bearundete Feststellunq nach Reqel 66-2(aKii) hinsichtlich der Neuheit der 
erfinderischen Tattqkeit und der qewerblichen Anwendbarkeit: Unterlaqen und 
Erklarunqen zur Stutzunq dieser Feststellunq 

1 Der Gegenstand des unabhangigen Anspruchs 1 sowie seiner abhangigen An- 
spruche 2-10 beruht nicht auf einer erfinderischen Tatigkeit gegenuber dem Stand 
der Technik und entspricint damit nicht den Erfordernissen von Artikel 33 (3) PCT. 

2 Als nachster Stand der Technik wird das Dokument D1 angesehen, das ein Ver- 
fahren zum Abspeichern von Suchmerkmalen (D1, Zusammenfassung; Seite 68, 
Mitte, Zeilen 7-21; Seite 70, Mitte, Zeilen 4-51) einer Bildsequenz (D2, Seite 69, 
Mitte, Zeilen 36-53, JPEG/MPEG) offenbart, bei dem die Suchmerkmale aus der 
Bildsequenz bestimmt werden (D1, Abschnitt 2, Seite 68, Mitte - Seite 69, Mitte). 

2.1 Der Gegenstand des Anspruchs 1 unterscheidet sich vom Stand der Technik nur 
darin, daB die Suchmerkmale gemeinsam mit der Bildsequenz gespeichert wer- 
den, wahrend das gemaB dem Verfahren aus D1 nicht geschieht (D1, Seite 70, 
rechts, Zeilen 41-50). 

2.2 Dieser Abschnitt von D1 legt dem Fachmann aber nahe, daB eine gemeinsame 
Speicherung aus methodischen oder technischen Grunden notwendig werden 
konnte. 

2.3 Insbesondere wird die logische Einheit \/on Bildsequenz und Suchmerkmalen 
betont (D1, Seite 69, Mitte, Zeilen 36-40), die dem Fachmann ohne weiteres die 
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physikalische Einheit e'lner gemeinsamen Speicherung nahelegt. 

2.4 SchlieBlich erscheint eine gemeinsame Speicherung von Datensequenzen und 
zugehorigen Suchnnerkmalen eine grundsatzlich fur den Fachnnann offensichtliche 
Option, die zunn Beispiel von Verzeichnisstrukturen auf Bandspeichern 
vorweggenommen wird. 

2.5 Der Fachnnann wurde daher, ausgehend von D1, ohne einen erfinderischen 
Schritt zum Gegenstand des Ansoruchs 1 gelangen. 

3 Das zusatzliche Merkmal gemaB Ansoruch 2 . daB die Suchnnerkmale sowohl 
Audio- als auch Videodaten enthalten konnen, ist aus D1 bekannt (D1, Seite 67. 
links, Zeilen 1-7; Seite 70, Mitte, Zeilen 35-38). 

4 Der logische Zusamnnenhang von Suchmerkmalen und Bildern ist klar und aus D1 
bekannt (D1, Seite 69, Mitte, Zeilen 36-40). Die VenA/endung von Verweisen 
(Zeigern) gemkB Ansoruch 3 . urn eine solche Verknupfung zu realisieren, ist fiir 
den Fachmann offensichtlich. In der Bildverarbeitung sind daruber hinaus 
konkrete Grafikformate bekannt (D2, Seiten 519 ff., GIF; Seiten 525 ff., TIFF), in 
denen Zeigerstrukturen verwehdet werden, urn Bildmaterial mit zugehorigen 
Informationen (durch sogenannte Image File Directories, IFD) zu verknupfen (D2, 
Seite 526, Zeile 7-18; Bilder 4.33 und 4.36; Seite 549, FreeOffsets Tag). Offenbar 
kann der Inhalt der IFDs ohne weiteres als Sammlung von Suchmerkmalen fur 
das Bildmaterial interpretiert und verwendet werden. 

5 Aufgrund der eben beschriebenen flexiblen Zeigerstruktur ist es fur den Fach- 
mann offensichtlich, da3 jede relative Anordnung von Bildmaterial und Suchmerk- 
malen gleichermaBen moglich ist und den gezielten Zugriff von Bildern gemaB 
Anspruch 3 nicht beeintrachtigt. Daher enthalten Ansoruche 4-6 nur fiir den 
Fachmann offensichtliche Varianten der Anspruche 1-3. 

6 Die Anwendung des Verfahrens aus D1 auf MPEG-Bildsequenzen nach Ansoruch 
7 ist bekannt (D2, Seite 69. Mitte, Zeilen 36-40, JPEG/MPEG). Die Wahl eines 
Intrabildes zur Lokalisierung der Suchmerkmale in einer MPEG-Sequenz 
(ebenfalls gemaB Anspruch 7) reprasentiert nicht nur eine von vielen offensichtlich 
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moglichen, sondern eine, die sich durch den ausgezeichneten Status von 
Intrabildern im MPEG-Format dem Fachmann bevorzugt aufdrangen wurde. 

7 Die Speicherung des Bildmaterials in einer Datenbank gemaB Anspruch 8 ist aus 
D1 bekannt (Seite 68. Mitte, Zeilen 12-13). 

8 Das zusatzliche Merkmai nach Anspruch 9 gegeniiber den vorangehenden 
Anspruchen besteht darin, daB die Suchmerkmale nicht nur auf ganze Bilder 
sondern direkt auf relevante BWdkomponenten (bzw "Objekte") verweisen konnen. 
Das erscheint jedoch eine offensichtliche Verwendung von Zeigern zu sein, die 
sich dem Fachmann immer dann aufdrangt, wenn die genannten 
Bildkomponenten im Anwendungsfall eine besondere Bedeutung haben. 

9 Die Verwendung von Headerdaten zur Identifikation oder naheren Bestimmung 
von nachfolgenden Datenblocks irgendwelcher Art ist eine fachubliche MaBnahme 
(s zB auch D2, Seite 526, Zeilen 7-9 und Bild 4.33). Daher beruht der Gegenstand 
von Anspruch 10 nicht auf einer erfinderischen Tatigkeit. 

VII: Bestimmte Mangel der internationalen Anmeldunq 

10 Dokument D1 als nachstliegender Stand der Technik ist in der Anmeldung nicht 
gewiirdigt (Regel 5.1 (a) (ii) PCT). 

1 1 Die unabhangigen Anspruche sind nicht in zweiteiliger Form abgefaBt, im 
Widerspruch zu Regel 6.3 (b) PCT, und die Anspruche enthalten keine 
Bezugszeichen in Klammern, im Widerspruch zu Regel 6.2 (b) PCT. 
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